LLM系列

缺月挂疏桐，漏断人初静。

小伙伴们好，我是微信公众号《小窗幽记机器学习》的小编：卖锅盔的小男孩。紧接之前LangChain专题文章：

今天这篇小作文是LangChain实践专题的第3篇，主要介绍LangChain中OpenAI接口和ChatOpenAI接口的区别，并重点介绍如下内容：

在介绍上述模块的时候，分别基于OpenAI接口和ChatOpenAI接口以实践的方式演示各个功能模块的使用。

如需完整代码，请在微信公众号：《小窗幽记机器学习》上添加小编微信。

更多、更新文章欢迎关注微信公众号：小窗幽记机器学习。后续会持续整理模型加速、模型部署、模型压缩、LLM、AI艺术等系列专题，敬请关注。

在LangChain中使用OpenAI服务常基于llms模块中的OpenAI API和chat_models中的ChatOpenAI API。

llms模块中的OpenAI接口(langchain.llms.OpenAI)是更通用的接口，用于与不同类型的语言模型进行交互。它可以与各种LLM模型集成，包括不仅限于ChatGPT，还包括其他类型的语言模型，如"text-davinci-003"等。chat_models模块是llms模块接口的高级封装，旨在提供简化的对话式语言模型功能。比如通过langchain.chat_models.ChatOpenAI可以进行多轮对话，并提供方便的方法来处理用户输入和模型输出。

在接口层面，chat_models提供一个以"聊天消息"作为输入和输出的接口。通过将一个或多个消息传递给chat_models，从而可以获取聊天结果。响应也是一条消息。目前LangChain支持的消息类型有AIMessage、HumanMessage、SystemMessage和ChatMessage。其中ChatMessage可以扮演任意角色。在大多数情况下，我们只需要处理HumanMessage、AIMessage和SystemMessage。

总的来说，ChatOpenAI接口更专注于对话式交互，而OpenAI接口更通用，适用于与多种类型的语言模型进行交互和处理不同的语言处理任务。

虽然chat_models模块(langchain.chat_models.ChatOpenAI)和llms模块(langchain.llms.OpenAI)有显著区别，但有时只需将它们视为相同模型。LangChain提供predict接口，使我们可以像与普通LLM(langchain.llms)交互一样与langchain.chat_models模块内的模型进行交互。示例如下：可以对比以下3种方式的输出：

方式1：

输出结果如下：

方式2：

输出结果如下：

方式3：

输出结果如下：

为了方便区分，以下用LLMs表示from langchain.llms import OpenAI接口，用Chat models表示from langchain.chat_models import ChatOpenAI接口。

大多数LLM应用程序不会将用户输入直接传给LLM。通常情况下，会将用户输入添加到一个称为提示模板(prompt template)的文本片段中。提示模板(prompt template)用以提供关于特定任务的附加上下文。在构建了 Prompt模板后，可以用Chains将定义的模型和Prompt模板串起来。以下先介绍Prompt模板的书写，下一章节展示如何用Chains将模型和Prompt模板串起来。

如果模型选用from langchain.llms import OpenAI， 则可以使用如下的方式构建Prompt模板。

此时的prompt内容如下：

与LLMs，ChatOpenAI接口也可以基于MessagePromptTemplate来使用模板。我们可以基于一个或多个MessagePromptTemplate构建ChatPromptTemplate。在这个过程中可以使用ChatPromptTemplate的format_messages方法来生成格式化的消息。

由于这种方式生成的是消息列表，所以比普通的提示模板稍微复杂一些，普通的提示模板只生成一个字符串。具体示例如下：

此时chat_prompt值如下：

将 OpenAI 接口的模型与PromptTemplate串起来。

输出结果如下：

前一章节已经介绍from langchain.chat_models import ChatOpenAI对应的Prompt模板，那么如下用Chain将两者串起来，具体示例如下：

输出结果如下：

示例2，多个输入：

输出结果如下：

前文使用的Chain其实是预定义了一序列的步骤。为了处理复杂的工作流程，我们需要能够根据输入动态选择不同的执行任务。LangChain中的代理(Agents)可以做到这一点。它们使用语言模型确定要采取的行动及其顺序。代理可以访问工具，并且它们会重复选择工具、运行工具并观察输出，直到得出最终答案。

要加载一个Agent，我们需要选择以下内容：

以下，我们将使用SerpAPI来查询搜索引擎。需要安装SerpAPI的Python包：

示例代码：

日志如下：

最终结果如下：

虽然结果差不多，但仍有微小的差异，可能是由于该问题答案的时效性导致。

换一个暂时不存在时效性的问题：

日志如下：

输出结果如下：

上述相同问题用ChatOpenAI接口的话，可以如下处理：

日志如下：

{ "action": "Search", "action_input": "height of Mount Everest"}

{ "action": "Calculator", "action_input": "29032 / 2"}

结果如下：

可以看出，输出结果一方面在高度单位上没有符合预期，另一方面第一个问题的回复被遗落。

修改下提问：

日志如下：

{ "action": "Search", "action_input": "height of Mount Everest in meters"}

{ "action": "Calculator", "action_input": "8848.9 / 2"}

结果如下：

可以看出，上述Agent的回复都是英文，如果想要使用中文回复呢？可以引入Prompt，将上述Chain的结果再输入到一个用以翻译的Chain。具体实现如下：

日志结果如下：

最终输出结果如下：

上述的Chain和Agent都是无状态的，但对于多数应用程序而言，使用过往的交互信息十分必要，这就需要一个记忆功能。这类记忆上下文信息的能力在聊天机器人等应用中尤为重要，用户希望这些机器人能够记忆过去的上下文从而更好地理解用户新输入的消息。

LangChain中的Memory模块能够用以记忆应用程序的状态。Memory接口很简单，根据最新的运行输入和输出更新状态，同时允许利用存储的状态来修改下一个输入(或者给下一个输入提供上下文)。

LangChain有许多内置的memory系统，其中最简单的是缓存(buffer memory)，将最近几个输入/输出添加到当前输入的前面。在下面的示例中，我们基于这种方法进行演示。

日志输出：

最终输出：

此时再运行如下命令：

日志输出：

最终输出：

从上述结果可以看出，新的对话已经记住历史输入的信息。

我们也可以将Memory与使用ChatOpenAI接口初始化的Chain和Agent一起使用。与LLMs版Memory主要区别在于，不会将所有先前的消息压缩成一个字符串，而是将它们保留为独立的memory对象。

输出结果如下：

此时再执行如下命令：

输出结果如下：

本文主要介绍LangChain中OpenAI接口和ChatOpenAI接口的区别，并结合Prompt模板、Chain模块、Agent模块、Memory模块以实践的方式介绍两者的使用差异。